Ernesto Geisel sinh ra ở Bento Gonçalves, tỉnh Rio Grande do Sul. Cha của ông là Guilherme Augusto Geisel, một giáo viên Đức Herborn, người di cư đến Đế chế Brazil vào năm 1883 khi ông 16 tuổi. Mẹ ông là người nội trợ Lydia Beckmann, sinh ra ở Braxin (Teutônia) thuộc nước Đức Cha mẹ từ Osnabrück.

Trong Bento Gonçalves, nơi Ernesto được nâng lên, chỉ có hai gia đình có nguồn gốc Đức - Geisels và Drehers - trong khi phần lớn dân số bao gồm những người nhập cư Ý. Ghi nhớ sự liên hệ với người nhập cư Ý trong thời thơ ấu Geisel mô tả sự tương phản văn hoá giữa việc học tập nghiêm ngặt và nghiêm ngặt mà cha mẹ người Đức áp đặt so với sự tự do và cách thoải mái hơn mà những người bạn Ý của ông ta có, và người mà ông ngưỡng mộ.

Geisel được nuôi nấng trong một gia đình Lutheran (họ thuộc Giáo hội Lutheran Evangelical của Brazil, ông nội của ông là linh mục) và ông tuyên bố đến từ một gia đình tầng lớp trung lưu tương đối nghèo. Ở nhà Geisel nói tiếng Đức cũng như tiếng Bồ Đào Nha vì cha ông, người đã nói tiếng Bồ Đào Nha rất tốt nên ông trở thành giáo viên của ngôn ngữ này, không muốn con ông nói tiếng Bồ Đào Nha với giọng nước ngoài. Là một người lớn, Geisel báo cáo rằng ông có thể hiểu được tiếng Đức, nhưng không thể viết nó và đã có một số khó khăn khi nói nó.

Ernesto Geisel kết hôn với Lucy Markus, con gái của một đại tá quân đội, vào năm 1940. Họ có một con gái, Amália Lucy (sau này là giáo sư đại học), và con trai, Orlando, từ năm 1957 chết trong một tai nạn xe lửa Geisel không bao giờ hồi phục hoàn toàn. Góa phụ của ông qua đời trong một tai nạn ô tô vào tháng 3 năm 2000.